Zunächst erfolgte nur die Errichtung des zentralen Turmes.
Trotz heftiger Einsprüche seitens dreier benachbarter Erzbischöfe und des Papstes bereits
1327 (die Errichtung dieses „überaus festen Turmes“ war mit ein Grund zur Exkommunikation Ludwigs), hielt Ludwig der Bayer unbeirrt an seiner Zollstation fest.
1329 überließ er den Turm den Pfalzgrafen bei Rhein.
Von
1339 bis 1342 fand ein
Ausbau der Anlage statt, indem noch eine sechseckige, den Tum umgebende Ringmauer errichtet wurde. Der Name Pfalzgrafenstein ist erstmals
1339 bezeugt.
1406 war sie einem eigenen Burggrafen,
1509 jedoch nur noch einem Zollwächter anvertraut.
1607 ließ Kurfürst Friedrich IV. von der Pfalz die Anlage nochmals verstärken. Zusammen mit
Burg Gutenfels oberhalb von Kaub (siehe dort) bildete sie einen Sperrriegel im Rhein. Bis
1803 hatte sie stets eine kleine Besatzung, die schließlich dem Kommmandanten der Burg Gutenfels unterstanden.
Nochmals geschichtliche Bedeutung erlangte die Insel, als hier in der
Neujahrsnacht 1813/14 Blücher bei der Verfolgung Napoleons mit preußischen und russischen Truppen über den Rhein setzte.